Анализ пользовательского поведения в мобильном приложении

Вы работаете в стартапе, который продаёт продукты питания. Нужно разобраться, как ведут себя пользователи вашего мобильного приложения.

Изучите воронку продаж. Узнайте, как пользователи доходят до покупки. Сколько пользователей доходит до покупки, а сколько — «застревает» на предыдущих шагах? На каких именно?

После этого исследуйте результаты A/A/B-эксперимента. Дизайнеры захотели поменять шрифты во всём приложении, а менеджеры испугались, что пользователям будет непривычно. Договорились принять решение по результатам A/A/B-теста. Пользователей разбили на 3 группы: 2 контрольные со старыми шрифтами (246, 247) и одну экспериментальную (248) — с новыми. Выясните, какой шрифт лучше.

Откройте файл с данными и изучите общую информацию

Таблица выгружена корректно, содержит 4 столбца и 244126 строк. Пропусков в данных нет.

Подготовьте данные

Замена названий столбцов

Проверка пропусков и дубликатов

В общей информации по таблице в разделе 1 видно, что пропусков в данных нет. Проверим на дубликаты.

В сравнении с общим количеством строк дубликатов немного, их удаление не повлияет на качество данных.

Проверим набор значений в столбцах "event_name" и "group".

В столбце "event_name" скрытых дубликатов нет. Значения по столбцу "group" соответствуют группам эксперимента.

Изменение типов данных и добавление столбцов

Судя по всему, значения в столбце "event_ts" содержат время в формате unix. Учитывая это, не вижу необходимости в изменении форматов в исходной таблице. Добавим необходимые столбцы: даты и времени в формате datetime и отдельно даты.

Изучите и проверьте данные

Данные о количестве пользователей

Данные о периоде исследования и его корректировка

Таблица содержит данные о событиях за 2 недели, но количество событий распределено неравномерно. Полные данные есть только за одну неделю - с 01.08.2019 по 07.08.2019. Отбросим более ранние записи и проверим, как изменились данные.

Было отсеяно около 1% записей о событиях, что можно считать приемлемым, такое изменение не повлияет на качество данных. Полностью исключена информация о событиях только 17 пользователей. Среднее количество действий на пользователя не поменялось. Теперь таблица содержит данные за неделю наблюдений.

Проверим, что в таблицу попала информация о пользователях всех трёх экспериментальных групп.

В таблице остались данные пользователей из всех трех групп.

Изучите воронку событий

Информация о событиях

Всего пять видов событий: открытие главного экрана, открытие экрана с предложениями товаров, открытие корзины, появление экрана успешной оплаты и прохождение обучения.

Больше всего раз пользователи открыти главный экран приложения - это событие занимает почти половину всех событий за исследуемый период. Намного меньше раз пользователи перешли на экран с предложениями товаров, похоже довольно часто пользователи просто заходят в приложение без намерения совершить покупку. На третьем месте по частоте событие перехода в корзину для просмотра и оплаты покупок, количество его воспроизведений немного меньше, чем у второго места. Почти на четверть меньше количество воспроизведений появления экрана об успешной оплате. На последнем месте - прохождение обучения, по сравнению с остальными событиями его воспроизвели ничтожное количество раз.

Посмторим на количество пользователей по событиям.

Практически все пользователи хоть раз перешли на главный экран приложения. На втором месте событие перехода на экран с предложенниями товаров - 61 процент пользователей на него перешли. На 10 процентов меньше пользователей хоть раз открыли корзину, и почти столько же увидели экран об успешной оплате. Только кажды 10 пользователь просмотрел обучение по использованию приложения, это действия явно не является обязательным.

С учётом описанного выше предположу, что корректная последовательность событий при использовании проложения такая:

Открытие главного экрана → Переход на экран с предложениями товаров → Переход в корзину → Успешная оплата товаров

Событие прохождения обучения предлагаю исключить из дальнейшего рассмотрения.

Изучение воронки событий

До перехода на экран с предложениями товаров доходит только 60 процентов пользователей, и на этом моменте теряется большинство пользователей. Судя по всему, переход непосредственно к покупке товаров не является очевидным или удобным. Возможно, следует сделать обучение использованию приложения обязательным этапом при его первом открытии или переработать дизайн главной страницы.

После этого все выглядит лучше - 80 процентов пользователей, увидевших предложения товаров, перешли в корзину. Каждого пятого пользователя либо не устроило товарное предложение, либо он столкнулся с проблемой перехода в корзину.

После перехода в корзину у большинства пользователей не возникло проблем с оплатой товаров. Только 5 процентов не оплатило товары. Возможно, их не устроили условия доставки товаров или их постигли проблемы технического характера при оплате онлайн.

В целом, каждый второй пользователь, зашедший в приложение, в итоге совершил покупку. В целом, как мне кажется, это неплохо, но результат мог быть лучше, необходимо обратить внимание на переход с главной страницы приложения к странице товарных предложений.

Изучите результаты эксперимента

Распределение пользователей по группам

Распределение пользователей по группам практически равное, сумма пользователей по группам соответствует общему количеству уникальных пользователей, значит пользователей, входящих сразу в несколько групп нет.

Также посчитаем количество пользователей, совершивших цепочку событий по каждой группе.

Сравнение контрольных групп

Составим функцию для расчета p_value.

Сразу примем уровень значимости равным 0,05, но стоит учесть, что при сравнении групп мы будем проводить сравнение 16 раз - для каждого события в цепочке умноженное на количество сравниваемых групп (две контрольные, объединенная из двух контрольных и целевая), чтобы снизить вероятность ошибки, предлагаю скорректировать его по методу Шидака.

Приступим к сравнению двух контрольных групп: 246 и 247. Нулевая гипотеза для проверки - доли пользователей, совершивших определённое действие для групп 246 и 247 не различается.

Ни в одном из 4 случаев мы не отвергаем нулевую гипотезу. Можем считать, что контрольные группы прошли проверку, можно приступить к проверке группы с измененными шрифтами.

Проверка целевой группы

Сначала проверим различия между группами 246 и 248. Нулевая гипотеза для проверки та же - доли пользователей, совершивших определённое действие в разных группах не различается.

По всем 4 проверкам мы не отвергаем нулевую гипотезу.

Очередь сравнения групп 247 и 248. Нулевая гипотеза остается неизменной - доли пользователей, совершивших определённое действие в разных группах не различается.

Во всех случаях у нас нет оснований считать, что показатели целевой группы отличаются от показателей контрольных групп.

Потивопоставим целевую группу объединенным контрольным. Нулевая гипотеза та же - доли пользователей, совершивших определённое действие в объединенной контрольной группе не отличается от долей пользователей, совершивших те же действия в целевой группе.

По всем четырем показателям нет оснований считать, что группы между собой отличаются.

Опасения, что новый шрифт отпугнет пользователей, остались опасениями.

Вывод

Нами исследованы данные о действиях пользователей за неделю наблюдений - с 01.08.2019 по 07.08.2019. За это время 7534 совершили 240887 действий, в среднем 32 действия на пользователя.

Среди 5 видов действий: открытие главного экрана, открытие экрана с предложениями товаров, открытие корзины, появление экрана успешной оплаты и прохождение обучения, 4 участвуют в цепочке, приводящей пользователя к покупке:

Открытие главного экрана → Переход на экран с предложениями товаров → Переход в корзину → Успешная оплата товаров

Каждый второй пользователь, начавший ее, дошел до конца и купил товар. Проблемное место в неё - переход на экран с предложениями товаров, на него пришли только 60 процентов пользователей с предыдущего этапа. Возможно, следует сделать обучение использованию приложения обязательным этапом при его первом открытии или переработать дизайн главной страницы.

Эксперимент по изменению шрифтов для части пользователей прошел безболезненно. Пользователи, в равной степени разделённые на 3 группы, две контрольные и одну целевую, не показали между группами статистически значимых различий между долями пользователей, переходящих по цепочке событий. Шрифты в приложении можно менять без опаски.